School LSAT GPA
1 1 622 3.23
2 2 542 2.83
3 3 579 3.24
4 4 653 3.12
5 5 606 3.09
6 6 576 3.39Aprendizaje Estadístico Supervisado
Natalia da Silva
2024
Donde estamos
Clase pasada vimos remuestreo basado en CV
Hoy veremos remuestreo basado en bootstrap
General
Una de las técnicas más utilizadas para medir la incertidumbre en modelos estadísticos complejos [Efron (1992).
Propiedades estadísticas de estimadores
Error de predicción
Combinación de modelos bootstrap aggregation
Podemos dividir las técnicas de bootstrap en: paramétrico y no paramétrico.
Planteo del problema
Algunas ideas previas
Supongamos que
F es una distribución de probabilidad.Supongamos estamos interesados en algún parámetro de la distribución que puede escribirse como
θ=t(F) .Donde
θ es un valor real y t es una función conocida que mapea la función de distribución aR .Por ejemplo,
θ=t(F) puede ser la media, varianza, sd, coeficiente de variación, mediana u otro cuantil de la distribución univariada.Podría ser también la correlación entre componentes de una distribución bivariada.
etc….
Algunas ideas previas
La estadística involucra la estimación de parámetros como
θ=t(F) usando estadísticos muestrales.Suponemos que tenemos
y1,y2…yn iid∼F Sea
θ̂ =s(y1,y2…yn) un estimador deθ dado por el estadístico muestrals(y1,y2…yn)
Algunas ideas previas
Por ejemplo, si
Algunas preguntas
- ¿Cuán bueno es nuestro estimador
θ̂ del parámetro poblacionalθ ? - ¿Es insesgado?
- ¿Tiene baja variabilidad?
- ¿Es cercano a
θ ? - ¿Cuál es la distribución de
θ̂ ?
Respuestas
- Estas preguntas son fáciles de responder en algunos casos usando teoría estadística.
- Por ejemplo si conocemos
F , por ejemplo siF∼N(θ,1) dondeθ∈R es desconocido - Sabemos que
θ̂ =y¯ dondey¯∼N(θ,1n) E(θ̂ )=θ , (θ̂ estimador insesgado paraθ )V(θ̂ )=1n (pequeña para n grande)SE(θ̂ )=1n√
Si no conocemos
Ejemplo LSAT, GPA
Primer ejemplo para ilustrar bootstrap por Efron: Los datos son los puntos del las pruebas LSAT (para entrar a la escuela de derecho) y el GPA (escolaridad).
Suponemos ahora que nuestra población de interés es una distribución bivariada de LSAT y el promedio del GPA para estudiantes que entran en distintas universidades de derecho en un total de 82 en USA.
En este caso,
F es una distribución discreta que asigna probabilidad de182 para cada una de las 82 pares (promedio de LSAT, promedio GPA)Están interesados en la correlación entre LSAR y GPA.
θ=t(F) sería dicha correlación.
Ejemplo LSAT, GPA
Supone que sacamos una muestra iid de
donde
- ¿Qué tan buena nuestra estimación de
θ̂ será?
Aproximación basada en simulaciones
Si nosotros pudieramos muestrear de la población repetidas veces podríamos usar la aproximación basada en simulaciones para obtener una aproximación de la distribución de
Ejemplo LSAT, GPA
Aproximación basada en simulaciones en el ejemplo. Tenemos una población de 82 universidades de derecho.
Resultados de calcular
q95=0.91 q75=0.84 q50=0.76 q25=0.67 q5=0.50 Min=−0.36 Max=0.98 media=0.74 se=0.13
MAS de F, aprox basada en simulaciones
- Muestra 1 de
F de tamaño n y estimoθ̂ 1 - Muestra 2 de
F de tamaño n y estimoθ̂ 2 - Muestra de
F de tamaño n y estimoθ̂ 3 - …..
- Muestra K de
F de tamaño n y estimoθ̂ K
Esto es la aproximación basada en simulaciones donde utilizamos la secuencia de los
Aproximación basada en simulaciones
Esta aproximación funciona bien si nosotros podemos muestrear repetidamente de la población.
En la mayoría de los problemas reales tenemos UNA SOLA MUESTRA
La pregunta entonces es:
¿Cómo podemos usar una única muestra, que es lo que tenemos en general, para obtener información sobre la distribución de nuestro estimador
Aproximación Bootstrap
Bootstrap idea general
- Usamos
y1,y2…yn∼iidF para estimarθ conθ̂ =s(y1,y2…yn) yF conF̂
Entonces la idea general de bootstrap es usar la aproximación basada en simulaciones con
Bootstrap idea general
- Muestra 1 de
F̂ de tamaño n y estimoθ̂ ∗1 - Muestra 2 de
F̂ de tamaño n y estimoθ̂ ∗2 - Muestra 3 de
F̂ de tamaño n y estimoθ̂ ∗3 - …….
- Muestra B de
F̂ de tamaño n y estimoθ̂ ∗B
Cada una de las muestras son iid de tamaño n (como la muestra original) de
Usamos la secuencia de
F̂
La pregunta ahora es:
¿Cómo obtenemos
- Bootstrap paramétrico
- Bootstrap no paramétrico
Bootstrap idea general, F̂ paramétrico
Si nosotros conocemos que nuestra población tiene alguna distribución paramétrica entonces podemos estimar los parámetros de la distribución con métodos estándar.
Por ejemplo si
μ̂ =1n∑ni=1yi=y¯ σ̂ 2=1n−1∑ni=1(yi−y¯)2
Bootstrap idea general, F̂ paramétrico
Sea
Opción 1: Bootstrap paramétrico
Obtener una estimación puntual
θ̂ 0 Obtener
B re-muestras:{y1,…,yn} de tamañon simuladas deF̂ θ̂ 0 Calcular
θ̂ b para cada re-muestra,b=1,…,B Calcular
θ̂ ¯=1B∑Bb=1θ̂ b Aproximar
Var(θ̂ ) con
Todas las re-muestras se construyen a partir del modelo estimado
Bootstrap paramétrico
La aproximación parmétrica a la distribución en el muestreo del estadístico de interés incorpora los siguientes errores:
Error de especificación del modelo.
Error de simulación: número finito de replicas para representar la distribución en el muestreo
Error estadístico: la distribución en el muestreo de
θ̂ b no necesariamente es la misma que la distribución en el muestreo deθ̂ Si el modelo está bien especificado, usar bootstrap paramétrico da resultados más precisos que no paramétrico.
Pero si está mal especificado los resultados rápidamente convergen a una distribución erronea.
Bootstrap idea general, F̂ no paramétrico
Si nosotros no conocemos nada de
Muestrear de esta distribución es equivalente a sacar muestras aleatorias simples con reposición de la muestra observada
Función de distribución empírica acumulada
- La ECDF asigna probabilidad
1n para cadayi coni=1,2,…n
Por ejemplo suponé que nuestra muestra es:
3.4, 1.2, 8.5, 7.6 y 4.9
entonces la
Bootstrap no paramétrico
Sea
Estamos interesados en obtener una estimación de
Bootstrap no paramétrico
Obtener
B re-muestras: MAS con reposición de{y1,…,yn} de tamañon Calcular
θ̂ b para cada re-muestra,b=1,…,B Calcular
θ̂ ¯=1B∑Bb=1θ̂ b Aproximar
Var(θ̂ ) con
Bootstrap no-paramétrico
Todas las re-muestras se construyen a partir de los datos puede haber repetidos porque la muestra es con reposición.
Ejemplo en universidad de derecho
El objetivo era estimar la correlación entre el promedio de LSAT y el promedio de GPA en una población de 82 universidades de derecho usando una muestra de 15 universidades.
También queremos aprender sobre la distribución de nuestro estimador usando la muestra de 15 universidades de derecho.
Ejemplo en universidad de derecho
Vamos a usar los paquetes bootstrap (sólo para tener los datos) y boot
Ejemplo en universidad de derecho
En el objeto law hay una muestra aleatorea de 15 universidades.
Si sorteamos una MAS con reposición de law de tamaño 15 tenemos una muestra bootstrap de la misma
Ejemplo en universidad de derecho
Cargamos el paquete boot y escribimos una función que calcule el estadístico para cualquier muesta bootstrap, usamos i como índices de las obs remuestreadas
Ejemplo en universidad de derecho
boot(data,statistic, R, sim ='ordinary",OTROS)
genera
datacomo matriz, vector o data.frame.statisticuna función que se aplica a los datos y retorna el estadístico de interés.Rnúmero de réplicassimun character que indica el tipo de simulación, por defectoordinary
Cuando sim="parametric el primer argumento del estadístico debe ser los datos y hay que definir ran.gen para generar las réplicas paramétricas. En otros casos debe tener al menos dos argumentos, para no paramétrico los datos y los índices que definen las muestras bootstrap.
Ejemplo, No paramétrico
Ejemplo, No paramétrico
La correlación muestral es 0.776 (con la muestra original de 15 observaciones)
Ejemplo, No paramétrico
Podemos examinar característicasde la distribución bootstrap de
Comparación
¿Cómo se compara esto con la verdadera distribución de
Si fuese un problema real no lo sabríamos pero en este caso conocemos la verdadera población y también tenemos simulaciones previas para tener una buena aproximación de
Comparación
Estimación basada en 100000
replicas simuladas
q95=0.91 q75=0.84 q50=0.76 q25=0.67 q5=0.50 min=−0.36 max=0.98 mean=0.74 se=0.1302
Estimaciones basadas en 5000 replicas bootstrap
q95=0.94 q75=0.87 q50=0.78 q25=0.68 q5=0.52 min=0.027 max=0.99 mean=0.77 se=0.1348
Comparación
Comparando con los resultados de la simulación vemos que la distribución basada en bootstrap parece estar corrida a la derecha respecto a la verdadera distribución.
[1] 0.7599979[1] 0.7763745El corrimiento a la derecha de la distribución no es sorprendente dado que la estimación muestral de la correlación sobrestima el verdadero valor.
Sin embargo el desvio estimado es bastante bueno (0.1348 comparado con 0.1302)
Bootstrap para estimar y corregir el sesgo
La estimación del sesgo con bootrap no paramétrico:
Estimación corregida por sesgo
Estimación corregida por sesgo
El sesgo de
La estimación corregida por sesgo:
Estimación corregida por sesgo
En este caso nuestra estimación corregida por sesgo está más lejos que la no corregida
# Correlacion poblacional
cor(law82[,2], law82[,3])
#correlacion muestral
cor_b$t0
# Estimación corregida por sesgo con bootstrap
cor_b$t0-(mean(cor_b$t)- cor_b$t0)Estimación corregida por sesgo
Hay que notar que en las simulaciones el sesgo de
La media de 100000 réplicas de
Entonces podemos decir que la estimación del sesgo va en la dirección correcta aunque corregir por él dió una peor estimación.
La corrección por sesgo puede ser peligrosa en la práctica
Intervalos de confianza
El objetivo es obtener un IC aproximado para
Sea
θ̂ ∗L= el percentil100(α/2) de la distribución bootstrap deθ̂ Sea
θ̂ ∗U= el percentil100(1−α/2) de la distribución bootstrap deθ̂ Entonces
[θ̂ ∗L,θ̂ ∗U] es un IC aproximado al100(1−α)% paraθ
Este intervalo se llama IC percentil bootstrap para
Intervalos de confianza
BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS
Based on 5000 bootstrap replicates
CALL :
boot.ci(boot.out = cor_b, conf = 0.95, type = "perc")
Intervals :
Level Percentile
95% ( 0.4507, 0.9635 )
Calculations and Intervals on Original Scale 2.5% 97.5%
0.4512198 0.9633646 Bootrap para datos con dependencia
En el caso del remuestro con datos independientes e idénticamente distribuidos (lo anterior), la construcción de las réplicas es relativamente sencilla.
Cuando los datos tienen dependencia el esquema de bootstrap no paramétrico no puede aplicarse directamente.
Algunos métodos que se pueden usar para series de tiempo: remuestreo basado en modelos, remuestreo basado en bloques, entre otros
Remuestreo Basado en Modelos
Consiste en ajustar un modelo ARIMA a los datos, obtener los residuos del modelo ajustado y con ellos generar una nueva serie.
Se sortea una MAS con reposisción de los residuos y a partir de este se obtiene una réplica de la serie original. Esto se repite
Remuestreo Basado en Modelos
La principal ventaja de este método es que se le puede aplicar a cualquier serie que sea modelable con un ARIMA.
Esta metodología arroja buenos resultados cuando el proceso generador de los datos es el modelo ARIMA utilizado para construir las réplicas.
Los problemas de este método surgen cuando el modelo ARIMA no es correcto o cuando las réplicas del modelo no son estacionarias.
Remuestreo Basado en Bloques
En este método de remuestreo construye bloques de la serie original de tal forma que sean independientes, y luego el remuestreo es aplicado sobre los bloques.
Para la construcción de los bloques no es necesaria la estimación de un modelo, por lo que es un método no paramétrico.
Los bloques se pueden construir solapados o no solapados.
Remuestreo Basado en Bloques
Una vez que los bloques son construídos se sortea una muestra simple con reposición de bloques de tamaño T/h (partimos la serie en h bloques), con la que se construye una réplica de la serie original concatenando los bloques sorteados.
Esto se repite B veces. Si la serie es estacionaria la dependencia entre observaciones disminuye a medida que la distancia entre ellas aumenta, la idea de estos métodos es que la dependencia de la serie esté contenida al interior de los bloques para tratarlos como intercambiables.
Remuestreo Basado en Bloques
Esto motiva que el tamaño de los bloques sea suficientemente grande como para captar la dependencia de la serie.
Por otro lado como el objetivo es tener una gran cantidad de estimaciones distintas del parámetro de interés, es necesario contar con muchas réplicas distintas de la serie original. Pero la cantidad de réplicas a su vez está limitada por el número de bloques, esto apunta a que el tamaño de los bloques sea pequeño para poder tener muchas réplicas distintas. Los dos efectos antes mencionados deben ser tenidos en cuenta para la definición del tamaño del bloque.
Remuestreo Basado en Bloques
Existen muchas variantes para la construcción de los bloques, entre ellas la combinación del método basado en réplicas de modelos y bootstrap en bloques.
Dicho método consiste en obtener los residuos de un modelo ARIMA y luego construir las réplicas de los residuos con bloques. Otra forma es que el tamaño de cada bloque sea aleatorio, esto permite obtener réplicas que son estacionarias cosa que no sucede con el esquema de bloques simples
Comentarios
Para que bootstrap funcione bien,
F̂ debe ser una buena estimación deF Cuando
y1,y2,…yn∼iidF yF̂ es la distribución empírica acumulada entoncesF̂ es cercana aF cuandon es grande.Por la Ley fuerte de los grandes números
F̂ n converge casi seguramente aF supy∈Rk∣F̂ (y)−F(y)∣ converge casi seguramente a 0 (TM Glivenko-Cantelli)
Comentarios
Qué tan grande debe ser n para que
Eso depende de
Referencias
Efron, Bradley. 1992. “Bootstrap Methods: Another Look at the Jackknife.” In Breakthroughs in Statistics, 569–93. Springer.
Ejemplo, No paramétrico Podemos examinar característicasde la distribución bootstrap de θ ^ quantile (cor_b $ t, c ( 0.95 , 0.75 , 0.5 , 0.25 , 0.05 )) 95% 75% 50% 25% 5%
0.9501411 0.8749586 0.7907555 0.6916749 0.5166985 max (cor_b $ t) [1] 0.9913565 min (cor_b $ t) [1] 0.1054236 mean (cor_b $ t) [1] 0.7711767 sd (cor_b $ t) [1] 0.1347531